Self-supervised 3D Skeleton Action Representation Learning with Motion Consistency and Continuity

分享人：郭天宇
研究方向：骨架行为识别
论文题目：Self-supervised 3D Skeleton Action Representation Learning with Motion Consistency and Continuity
论文作者：Yukun Su, Guosheng Lin, Qingyao Wu
作者单位：华南理工大学，南洋理工大学
论文摘要：近年来，自监督学习（SSL）已被证明是非常有效的，它可以从未标记数据中学习特征表示。然而，很少有人探索它在三维骨架行为识别中的应用。直接将现有的SSL技术应用于三维骨架，存在平凡解和不精确表示等局限。为了解决这些问题，我们重点关注在不同的回放速度下感知运动的一致性和连续性这两个关键问题。为此，我们提出了一种新的SSL方法来有效地学习三维骨架表示。具体来说，通过构建动作序列的一个正剪辑（速度变化）和一个负剪辑（动作破坏），我们鼓励正对更近，同时推远负对，迫使网络学习内在的动态运动一致性信息。此外，为了学习到更好的特征，我们进一步利用骨架插值来建模人体骨架数据的连续性。为了验证该方法的有效性，我们在Kinetics、NTU60、NTU120和PKUMMD数据集上使用不同网络结构进行了大量的实验。实验结果证明了我们的方法的优越性，通过该方法，我们可以在不使用额外的标记数据的情况下获得显著的性能提升。
原文链接：

点击此处